高阶交互事件在现实世界应用中很常见。从这些事件中编码参与者的复杂关系的学习嵌入在知识挖掘和预测任务中至关重要。尽管现有方法取得了成功，例如泊松张量分解，它们忽略了数据基础的稀疏结构，即发生的相互作用远小于所有参与者之间可能的相互作用。在本文中，我们提出了稀疏高阶交互事件（NESH）的非参数嵌入。我们杂交稀疏的超图（张量）过程和一个基质高斯过程，以捕获相互作用中的渐近结构稀疏性和参与者之间的非线性时间关系。我们证明了稀疏性比的强渐近边界（包括较低和上限），这揭示了采样结构的渐近特性。我们使用批界规范化，破坏性结构和稀疏的变分GP近似来开发有效的，可扩展的模型推理算法。我们在几个现实世界应用中证明了方法的优势。

张量分解是一个基本框架，用于分析可以由多维阵列表示的数据。实际上，张量数据通常伴随时间信息，即产生输入值的时间点。该信息意味着丰富的，复杂的时间变化模式。但是，当前方法始终假设每个张量模式下实体的因子表示是静态的，并且从不考虑它们的时间演变。为了填补这一空白，我们建议用于动态张量分解（NONFAT）的非参数因子轨迹学习。我们将高斯工艺（GP）先验放置在频域中，并通过高斯 - 局部正交进行逆傅立叶变换以采样轨迹函数。通过这种方式，我们可以克服数据稀疏性并在长期范围内获得强大的轨迹估计值。给定特定时间点的轨迹值，我们使用二级GP来采样入口值并捕获实体之间的时间关系。为了高效且可扩展的推断，我们利用模型中的基质高斯结构，引入基质高斯后部，并开发嵌套的稀疏变分学习算法。我们已经在几个现实世界应用中展示了我们的方法的优势。

多保真建模和学习在与物理模拟相关的应用中很重要。它可以利用低保真性和高保真示例进行培训，以降低数据生成成本，同时仍然达到良好的性能。尽管现有方法仅模型有限，离散的保真度，但实际上，忠诚度的选择通常是连续且无限的，这可以对应于连续的网格间距或有限元元素长度。在本文中，我们提出了无限的保真度核心化（IFC）。鉴于数据，我们的方法可以在连续无限的保真度中提取和利用丰富的信息来增强预测准确性。我们的模型可以插值和/或推断出对新型保真度的预测，甚至可以高于训练数据的保​​真度。具体而言，我们引入了一个低维的潜在输出作为保真度和输入的连续函数，并具有带有基矩阵的多个IT以预测高维解决方案输出。我们将潜在输出建模为神经普通微分方程（ODE），以捕获内部的复杂关系并在整个连续保真度中整合信息。然后，我们使用高斯工艺或其他颂歌来估计忠诚度变化的碱基。为了有效的推断，我们将碱基重组为张量，并使用张量 - 高斯变异后部为大规模输出开发可扩展的推理算法。我们在计算物理学的几个基准任务中展示了我们的方法的优势。

修剪技术已成功地用于神经网络中，以交易稀疏性。但是，网络修剪的影响并不统一：先前的工作表明，数据集中代表性不足类的召回可能会受到更大的负面影响。在这项工作中，我们通过假设模型固有的强化效应来研究回忆中的这种相对扭曲。也就是说，修剪的召回率对于以下召回精度的课程相对较差，相反，它使召回率相对较好，对于上述准确性的课程相对较好。此外，我们提出了一种旨在减弱这种效果的新修剪算法。通过统计分析，我们观察到，我们的算法的强度不那么严重，但是随着相对较困难的任务，较不复杂的模型和更高的修剪比率更为明显。更令人惊讶的是，我们相反观察到具有较低的修剪比的脱敏作用。

如果神经网络更大，即使所产生的模型过度参数化，神经网络也倾向于通过训练获得更好的准确性。然而，在训练之前，期间或之后，仔细删除此类多余参数也可能会产生具有相似精度甚至提高的模型。在许多情况下，可以通过启发式方法奇怪地实现，就像去除具有最小绝对价值的权重一样 - 即使幅度并不是重量相关性的完美代理。以这样的前提是，从修剪中获得更好的性能取决于删除多个权重的综合效果的考虑，我们重新审视了基于影响的基于撞击的经典方法之一：最佳脑外科医生（obs）。我们提出了一种可拖动的启发式方法，用于求解OBS的组合扩展，其中我们选择了同时删除的权重，以及剩余权重的系统更新。我们的选择方法在高稀疏性下的其他方法优于其他方法，即使与其他方法结合使用，重量更新也是有利的。

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

我们提出了一种非参数因素分解方法，用于稀疏观察到的张量。稀疏性并不意味着零值的条目是大规模的或占主导地位的。相反，它意味着观察到的条目很少，甚至少于张量的生长;这在实践中是无处不在的。与存在的作品相比，我们的模型不仅利用了观察到的入境指标的结构信息，还提供了额外的可解释性和灵活性 - 它可以同时估计关于张量节点的内在属性的一组位置因素，另一组体现因素反映出与他人互动的外向活动;用户可以自由选择两种类型的因素之间的权衡。具体而言，我们使用等级伽玛工艺和泊松随机措施来构建张值的过程，可以自由地样本产生张量的两种因素，并始终保证渐近稀疏性。然后，我们将张量进程标准化以获得分层DireChlet进程来对每个观察到的进入索引进行采样，并使用高斯过程作为因子的非线性函数来对输入值进行采样，以捕获稀疏结构属性和复杂节点关系。为了高效推断，我们使用Dirichlet流程属性超过有限的样本分区，密度变换和随机特征来开发随机变分估计算法。我们展示了我们在多个基准数据集中的方法的优势。

最近在科学机器学习的工作已经开发出所谓的物理信息的神经网络（Pinn）模型。典型方法是将物理域知识纳入经验丢失功能的软限制，并使用现有的机器学习方法来培训模型。我们展示了，虽然现有的Pinn方法可以学习良好的模型，但它们可以轻松地未能学习相关的物理现象，甚至更复杂的问题。特别是，我们分析了众多不同的普遍物理兴趣的情况，包括使用对流，反应和扩散运营商学习微分方程。我们提供了证据表明Pinns中的软正规化，涉及基于PDE的差分运营商，可以引入许多微妙的问题，包括使问题更加不良。重要的是，我们表明，这些可能的失败模式不是由于NN架构中缺乏富有效力，但Pinn的设置使得损失景观很难优化。然后，我们描述了两个有希望的解决方案来解决这些故障模式。第一种方法是使用课程正则化，其中Pinn的丢失项从简单的PDE正则化开始，并且随着NN训练而变得逐渐变得更加复杂。第二种方法是将问题构成为序列到序列的学习任务，而不是学习一次性地预测整个时空。广泛的测试表明，与常规Pinn训练相比，我们可以通过这些方法实现最多1-2个数量级。

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

In this paper, we investigate the joint device activity and data detection in massive machine-type communications (mMTC) with a one-phase non-coherent scheme, where data bits are embedded in the pilot sequences and the base station simultaneously detects active devices and their embedded data bits without explicit channel estimation. Due to the correlated sparsity pattern introduced by the non-coherent transmission scheme, the traditional approximate message passing (AMP) algorithm cannot achieve satisfactory performance. Therefore, we propose a deep learning (DL) modified AMP network (DL-mAMPnet) that enhances the detection performance by effectively exploiting the pilot activity correlation. The DL-mAMPnet is constructed by unfolding the AMP algorithm into a feedforward neural network, which combines the principled mathematical model of the AMP algorithm with the powerful learning capability, thereby benefiting from the advantages of both techniques. Trainable parameters are introduced in the DL-mAMPnet to approximate the correlated sparsity pattern and the large-scale fading coefficient. Moreover, a refinement module is designed to further advance the performance by utilizing the spatial feature caused by the correlated sparsity pattern. Simulation results demonstrate that the proposed DL-mAMPnet can significantly outperform traditional algorithms in terms of the symbol error rate performance.